ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
面向多轮智能体强化学习的进度感知优势塑形框架 ProAS
🧭 多轮 Agent RL 信用分配 · 优势塑形 ★ 深度解读
Zhejiang University · Westlake University · Westlake Institute for Advanced Study · Huawei Noah's Ark Lab
用动态任务参考图对轨迹级优势做非对称掩码和惩罚重分配，解决 critic-free 智能体 RL 的均匀信用分配问题
📌 工作参考价值（4 点）
- 在基于 GRPO/DAPO 的智能体 RL 中，避免把轨迹级 advantage 均匀广播；可构造任务进度参考图（如电商购物流程：搜索→商品页→选规格→结算）给动作打 reasonable/progress-advancing 标签，在优势侧做掩码和重加权。
- 建议优先使用优势塑形而非奖励塑形：论文消融显示直接加 progress-aware reward 比 advantage shaping 低 14.1 个成功率点，简单 mask 合理动作或按 suffix 长度加权也不如 Future-Drift 归一化重分配。
- 工程上可以用历史成功会话自动构建/更新参考图，无需完美人工标注；即使剪枝 40% 或由教师模型蒸馏，只要保留在线演化，仍能带来显著提升，适合快速落地。
- 对负优势轨迹，按动作引起的下游停滞程度（Future-Drift）对惩罚做比例再分配，优先惩罚早期偏航动作，比均匀惩罚更公平，能加速收敛（最高 2.44×）。